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摘 要 : 为 快速 准确 计数 大 豆 籽 粒 ， 提 高 大 豆 考 种 速 


度 和 育种 水 平 ， 本 研究 提出 了 一 种 基于 密度 估计 和 


VGG-Two (VGG-T) 的 大 豆 籽 粒 计 数 方法 。 首 先 针对 大 豆 籽 粒 计数 领域 可 用 图 像 数据 集 缺 乏 的 问题 ， 提 出 


了 基于 数字 图 像 处 理 技 术 的 预 标 注 和 人 工 修正 标注 相 结 合 的 快速 目标 点 标注 方法 ， 加 快 建立 带 标 注 的 公开 


可 用 大 豆 籽 粒 图 像 数 据 集 。 其 次 构建 了 适用 于 籽粒 图 像 数 据 集 的 VGG-T 网 络 计 数 模型 ， 该 模型 基于 VGG16， 


结合 密度 估计 方法 ,实现 从 单一 视角 大 豆 籽 粒 图 像 中 


准确 计数 籽粒 。 最 后 采用 自制 的 大 豆 籽 粒 数据 集 对 


VGG-T 模 型 进行 测试 ， 分 别 对 有 无 数据 增强 的 计数 准确 性 、 不 同 网 络 的 计数 性 能 以 及 不 同 测试 集 的 计数 准 


确 性 进行 了 对 比试 验 。 试 验 结果 表明 ,快速 目标 点 标注 


FE 方法 标注 37,563 个 大 豆 籽 粒 只 需 花 费 197 min， 比 普 


通 人 工 标注 节约 了 1592 min, 减少 约 96% 的 人 工 工作 量 ， 大 幅 降 低 时 间 成 本 和 人 工 成 本 ; 采用 VGG-T 模 型 
计数 ， 其 评估 指标 在 原 图 和 补丁 (patch) 情况 下 的 平均 绝对 误差 分 别 为 0.6 和 0.2， 均 方 误差 为 0.6 和 0.3， 准 
确 性 高 于 传统 图 像 形态 学 操作 以 及 ResNet18、ResNet18-T 和 VGG16 网络 。 在 包含 不 同 密度 大 豆 籽 粒 的 测试 


集中 ,误差 波动 较 小 ， 仍 具有 优良 的 计数 性 能 ， 同 时 与 人 工 计数 和 数 粒 仪 相 比 ， 计 数 11,350 个 大 豆 籽 粒 分 
别 节省 大 约 2.493h 和 0.203hn， 实 现 大 豆 籽 粒 的 快速 计数 任务 。 
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1 引言 


据 最 新 统计 数据 显示 ，2019 年 中 国 大 豆 需 求 
量 1.1 亿 吨 ， 而 国内 大 豆 产量 仅 1810 万 吨 ， 约 有 
9500 万 吨 的 产量 缺口 需 通 过 国际 市 场 弥补 "。 解 
决 大 豆 产 量 不 足 问 题 的 主要 方法 是 提升 大 豆 育 种 
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水 平 。 目 前 阻碍 育种 研究 加 速 的 原因 之 一 是 无 法 
大 规模 高 通 量 获取 大 豆 表 型 性 状 ” 。 百 粒 重 是 
大 豆 重 要 的 产量 性 状 ， 而 测量 百 粒 重 的 前 提 就 是 
计算 籽粒 数量 。 快 速 精确 的 大 豆 籽 粒 计 数 能 加 快 
考 种 速度 ， 促 进 大 豆 育 种 研究 ， 进 而 提升 大 豆 育 
种 水 平 ， 对 提升 大 豆 产量 具有 非常 重要 的 意义 。 
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在 早期 阶段 ， 常 用 的 籽粒 计数 方法 是 人 工 籽 
粒 计数 ， 但 此 操作 耗 时 耗 力 。 同 时 ， 肉 眼 的 判断 
具有 很 大 的 偶然 性 和 主观 性 ， 长 时 间 计 数 后 不 可 
避免 会 产生 误差 ， 导 致 计 数 不 准 确 o AEAT 
计数 ， 光 电 种 子 数 粒 仪 可 轻松 避免 由 于 偶然 性 和 
主观 性 产生 的 误差 ， 结 构 简 单 、 操 作 方便 ， 对 种 
子 无 破坏 作用 ; 还 能 起 到 “一 机 多 用 ”的 功能 。 
随 着 研究 的 深入 ， 光 电 种 子 数 粒 计数 误差 越 来 越 
小 ,但 其 普遍 存在 的 不 足 之 处 在 于 价格 昂贵 ， 计 
数 速度 慢 ， 不 利于 大 规模 农业 生产 自动 化 的 发 
展 “。 随 着 计算 机 技术 的 发 展 和 图 像 信 息 的 普遍 
化 ， 机 器 视觉 逐渐 被 科研 人 员 应 用 到 大 豆 籽 粒 计 
数 领域 ， 如 利用 腐蚀 膨胀 法 、 分 水 岭 算法 ””、 
特征 点 匹配 ” 等 基于 数字 图 像 处 理 技术 的 方法 
实现 籽粒 识别 和 计数 。 琴 斐 ” 针对 多 种 子 相互 
粘连 的 情况 ， 对 图 像 处理 方 法 进行 研究 ， 运 用 腐 
蚀 膨 胀 法 、 面 积分 配 法 和 分 水 岭 算法 ， 实 现 对 黑 


领域 研究 人 员 的 认可 。 与 传统 数字 图 像 处 理 技术 
相 比 ，CNN 模型 的 优势 是 自动 学 习 和 提取 有 用 
特征 ， 实 现 自动 化 和 智能 化 计数 。 虽 然 CNN 在 
大 豆 籽 粒 计数 领域 研究 和 应 用 相对 较 少 ， 但 在 其 
他 目标 计数 "方面 有 相关 人 研究， 如 Pound 4 7 
建立 了 一 个 名 为 ACID (Annotated Crop Image 
Dataset) 的 新 数据 集 ， 提 出 了 一 种 可 以 准确 定位 
小 麦 尖 峰 和 小 穗 同时 准确 分 类 和 计数 的 多 任务 深 
度 学 习 方法 。Deng "" 建立 并 测试 了 基于 具有 
特征 金字 塔 网 络 (Feature Pyramid Networks, 
FPN) 的 FasterR-CNN 高 精度 谷物 检测 模型 ， 用 
于 自动 检测 和 计数 每 穗 粒 数 ， 与 人 工 计 数 谷 粒 的 
结果 相 比 ， 该 模型 的 平均 准确 率 达 到 99.4% 上 是 检 
测 性 能 不 受 品 种 和 水 分 条 件 的 影响 。Wu 等 "” 开 
发 了 线性 回归 模型 和 深度 学 习 模 型 来 计算 每 穗 粒 
数 ， 其 计数 准确 率 分 别 大 于 96% 和 99%。Wu 
等 "采用 深度 学 习 方 法 解决 传统 图 像 处 理 算法 


豆 的 分 割 和 快速 计数 。 周 洪 允 “使 用 距离 变换 
与 分 水 岭 相 结 合 的 算法 实现 精 连 区 域 的 分 割 ， 提 
出 划 线 分 割 算法 ， 并 加 入 多 线程 以 实现 算法 处 理 
速度 的 提升 。Liu 等 确定 了 图 像 特征 点 与 谷 粒 
数 之 间 的 关系 ， 探 索 了 图 像 特征 点 的 测量 方法 ， 
并 将 其 与 现 有 的 计数 方法 进行 了 相似 性 和 差异 性 
的 比较 ， 误 差 率 均 低 于 2%。Tan 等 ”提出 了 杂 
交 水 稻 粘 连 籽粒 的 精确 分 割 和 计数 算法 ， 该 算法 
根据 分 水 岭 分 制 算 法 、 改 进 的 角 点 算法 和 BP 神 
经 网 络 (Back Propagation Neural Network) 分 类 
算法 分 离 和 计算 粘连 谷 粒 数 ， 与 人 工 计 数 结 果 相 
比 ， 所 提 方 法 平均 准确 率 为 94.63%。 基 于 传统 
数字 图 像 处 理 的 籽粒 计数 方法 与 人 工 计数 和 光电 
种 子 数 粒 仪 相 比 ， 其 计数 速度 确实 有 所 提升 ， 计 
数 精度 也 有 一 定 提高 ， 但 该 类 方法 需要 专业 知识 
和 手动 提取 图 像 特 征 ， 具 有 复杂 的 调 参 过 程 ， 同 
时 每 个 方法 都 针对 具体 应 用 ， 其 泛 化 能 力 及 和 鲁 棒 
PERE 

随 着 卷 积 神经 网 络 (Convolutional Neural 
Networks, CNN) 模型 "在 诸多 领域 取得 非常 
成 功 的 应 用 中， 深度 学 习 技 术 ' 也 得 到 农业 


的 局 限 性 ， 通 过 构建 基于 区 域 的 Faster R-CNN 模 
型 并 运用 迁移 学 习 方 法 ， 优 化 了 小 麦 籽 粒 检测 和 
计数 模型 ， 其 平均 精度 为 0.91。 翟 强 等 ” 利用 
具有 不 同 尺寸 感 受 野 的 CNN 和 特征 注意 模块 自 
适应 提取 多 尺度 人 群 特征 ， 结 合 密度 估计 方法 实 
现 人 群 计数 。 

基于 CNN 的 目标 计数 的 实现 为 大 豆 籽 粒 计 
数 提供 了 新 思路 。 基 于 图 像 的 目标 计数 方法 可 归 
AWARE, 一 是 基于 检测 的 方法 ; 二 是 基 
于 回归 的 方法 ， 其 中 包括 直接 回归 和 密度 图 回 
归 。 由 于 大 豆 籽 粒 图 像 密 上 度 不 一 、 籽 粒 小 ， 基 于 
小 目标 检测 的 方法 需要 训练 检测 器 来 捕获 信息 ， 
通过 检测 需 检 测 目 标 并 计算 其 数量 ， 但 是 训练 检 
测 器 比较 复杂 ,计算 量 较 大 '”。 与 此 同时 在 深 
度 CNN 架构 中 经 过 多 次 下 采样 后 ,深层 的 特征 
图 将 会 丢失 空间 信息 。 而 且 基 于 直接 回归 进行 计 
数 的 缺点 是 没有 精确 的 定位 ， 但 基于 密度 回归 的 
方法 跳 过 了 艰巨 的 识别 和 分 类 任务 ， 直 接生 成 密 
度 图 ， 学 习 图 像 的 局 部 特征 和 其 相应 的 密度 图 之 
间 的 映射 ,再 根据 密度 图 积分 得 到 目标 计数 7s 
因此 本 研究 将 密度 估计 和 CNN 相 结 合 ， 根 据 籽 
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粒 特 征 构建 VGG-Two (VGG-T) 模型 ， 进 而 实 
现 从 单一 视觉 大 豆 籽 粒 图 像 中 快速 准确 识别 大 豆 
籽粒 数 。 


2 ”数据 集 构建 


大 规模 标注 数据 的 可 用 性 是 深度 学 习 在 计算 
机 视觉 领域 取得 成 功 的 原因 之 一 。 比 较 成 功 的 神 
经 网 络 需 要 大 量 参 数 ， 参 数 的 正确 工作 需要 大 量 
数据 进行 训练 ， 然 而 目前 缺少 公开 可 用 带 标注 的 
大 豆 籽 粒 数 据 集 。 因 此 本 研究 首先 采集 并 建立 了 
适用 于 CNN 的 大 豆 籽 粒 图 像 数据 集 。 


2.1 数据 采集 


选择 种 植 于 中 国 农业 科学 院 作 物 科 学 研究 所 
北京 顺义 基地 的 大 豆 样本 。 基 地 大 棚 示 意图 如 图 
1 所 示 ， 其 中 种 植 区 种 植 各 品种 大 豆 。 随 机 选取 
5 个 种 植 区 域内 的 小 部 分 区 域 (如 图 1 深蓝 色 区 
W) 的 大 豆 植 株 ， 品 种 为 “中 黄 39”， 接 着 进行 
收割 、 摘 蔷 、 人 工 清除 污垢 等 操作 ， 后 续 在 2 号 
大 棚 的 图 像 采集 区 (如 图 1 黄色 区 域 ) 进行 数字 
成 像 。 


到 像 采样 区 


Inm 


标 种 植 区 


1 2 3 4 B5 


Al 目标 大 豆 种 植 区 域 示意 图 

Fig. 1 Sketch map of target soybean planting area 

将 脱粒 大 豆 种 子 随机 平 铺 在 一 块 黑 色 吸光 音 
景 布 上 ， 保 证 种 子 不 重奏 ,尽量 避免 相互 接触 。 
在 白天 、 具 有 漫 反 射 自然 照明 条 件 下 的 植物 工 
厂 中 ,使 用 相机 (SONY ILCE-5000 型 号 ， 光 圈 
f/4, RIE 16 mm， 了 曝光 时 间 1/60 s， 闪 光 灯 模式 
为 强制 无 闪光 ) 采集 原始 大 豆 种 子 图 像 。 采 集 
时 ， 将 相机 放置 于 平 铺 种 子 的 正 上 方 ， 距离 种 子 
30—50 cm。 图 2 为 大 豆 籽 粒 图 像 的 采集 装置 和 经 


过 调节 图 像 对 比 度 、 亮 度 和 斥 才 大 小 等 预 处 理 步 
又 后 的 原始 图 像 。 


(b) 预 处 理 后 的 原始 图 像 
图 2 大 豆 籽 粒 图 像 采 集 装 置 及 预 处 理 后 的 原始 图 像 


Fig. 2 Soybean seed image acquisition device and the 


original image after pretreatment 


2.2 数据 标注 


2.2.1 大 豆 籽 粒 预 标注 

图 3 是 大 豆 籽 粒 预 标注 流程 图 。 为 方便 后 续 
环节 的 处 理 ， 运 用 图 像 预 处 理 来 调节 采集 的 籽粒 
图 像 的 对 比 度 、 亮 度 、 尺 寸 。 针 对 籽粒 网 像 特 
点 ， 利 用 转 灰 度 、 求 国 值 等 一 系列 图 像 分 析 算 法 
进行 目标 区 域 提 取 。 为 避免 错误 标注 和 减少 后 期 
人 工 修正 标注 的 工作 量 ， 补 充 设 计 了 删除 大 面积 
粘连 籽粒 预 标注 的 处 理 。 最 后 ， 定 位 部 分 籽粒 并 
获取 这 些 籽粒 质心 坐标 。 

将 预 处 理 后 的 RGB 籽粒 图 像 1 转 成 灰 度 图 
GI, fi HH x BE B (E pA X YT $E oh 4p B dH 
te[0,1], HX BE Bi (B | RE Be KK IB 77 28 
法 (OTSU), EERE ALEK T BIB. t e DR 
素 赋值 为 1 (白色 )， 为 目标 区 域 ， 其 余 像素 赋值 
为 0 (黑色 ) ， 为 背景 区 域 。 

为 去 除 籽 粒 内 部 的 黑色 噪声 ， 对 二 值 网 像 进 
行 删 除 小 面积 处 理 。 如 图 4 (a) 红 框 标注 所 示 。 
种 子 内 部 有 黑色 区 域 ， 会 影响 后 续 对 籽粒 的 识别 
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籽粒 图 像 采 集 
ica 
i r^^ 对 比 度 调节 
HKE e 预 处 理 ”| 大 小 调节 | 
D mes 
XH | -| | 一 | 亮度 调节 | 
, [-| 目标 区 域 提取 
二 值 化 PINE RA 
Ta -| uere 
—^ 删除 大 面积 
获取 将 粒 位 置 
Car) 


图 3 X HE UICE 
Fig. 3 Soybean seed pre-annotation flow chart 
和 标记 ， 需 将 籽粒 内 部 全 部 像素 置 为 1。 这 里 设 
许 面 积 阔 值 T， 将 小 于 T 的 区 域 像素 全 部 置 为 
1， 如 图 4 (b) 所 示 。 


(a) 闻 粒 内 部 小 面积 区 域 
图 4 删除 小 面积 操作 示意 图 


(b) 删 除 小 面积 


Fig. 4 Sketch map of deleting small area 


删除 小 面积 操作 之 后 的 二 值 图 像 中 有 部 分 籽 
粒 粘连 ， 如 图 $ (a) 红色 框 显示 ， 若 直接 对 其 进 
行 质心 预 标注 ， 会 出 现 错 标 和 漏 标 两 个 问题 d 
图 6 (a)。 为 尽量 减少 后 期 人 工 修正 标注 的 工作 
量 ， 利 用 删除 粘连 籽粒 预 标注 结果 的 方法 来 避免 
错 标 问题 。 图 6 (b) 是 删除 预 标注 之 后 的 示意 
到 ， 只 出 现 漏 标 情 况 。 这 里 首先 进行 形态 学 腐蚀 
操作 ， 分 离 粘连 籽粒 ， 如 图 $ (b) 红 框 所 示 , 但 
存在 小 部 分 粘连 程度 较 大 的 籽粒 仍 无 法 分 离 ， 如 
BIS (b) 绿 框 所 示 。 为 减少 后 续 人 工 修正 错误 标 
注 的 工作 量 ， 进 行 删除 大 面积 的 粘连 籽粒 预 标注 
处 理 ， 其 中 设置 了 两 个 面积 阔 值 T， 分 别 是 190 
和 300。 通 过 对 比 质 心 标注 效果 ， 图 7 (a) AT, 
=300 时 的 标注 示意 图 ， 出 现 了 错 标 和 漏 标 两 个 
问题 ; 图 7 (b) 为 T=190 时 的 标注 示意 图 ， 只 
出 现 了 漏 标 情况 ， 因 此 将 面积 闵 值 参数 T, 设 置 


为 190。 


a) 闻 粒 粘连 (b) 形 态 学 腐蚀 操作 
图 5 形态 学 腐蚀 操作 处 理 籽 粒 粘 连 


Fig. 5 Morphological corrosion treatment of adhesive seeds 


(a) i rns 错误 预 标注 (b) 删 除 错 标 结果 
图 6 删除 粘连 籽粒 预 标注 前 后 的 示意 图 
Fig. 6 Annotation diagram before and after deleting pre-la- 


beling of adhesive seeds 


(a) 大 面积 国 值 T2=300 
图 7 删除 不 同 大 面积 粘连 籽粒 的 标注 示意 图 


Fig. 7 Annotation diagram after deleting different large area 


(b) Xi 42 I] (4. T2=190 


of adhesive seeds 


2.2.2 大 豆 籽 粒 标注 系统 

为 实现 快速 、 准 确 、 低 成 本 的 点 标注 ， 利 用 
MATLAB R2017b 构建 “脱粒 种 子 标注 系统 
V1.0”( 简 称 “ 标 注 系统 ”)， 其 中 包括 文件 管理 
单元 和 标注 单元 两 部 分 。 标 注 系 统 功能 结构 如 图 
8 所 示 。 文 件 管理 单元 用 于 载 入 、 清 空 图 像 ， 图 
像 中 种 子 所 在 位 置 坐标 信息 的 显示 和 存储 等 
括 图 像 载 人 人、 参数 显示 、 数 据 存储 以 及 图 像 清 空 
功能 。 标 注 单 元 分 成 两 种 标注 方式 : 一 种 是 普通 
的 人 工 标注 ， 即 直接 在 载 入 的 图 像 上 逐一 标注 种 
Ti; 另 一 种 是 基于 传统 数字 图 像 处理 技 术 的 “ 预 
标注 十 人 工 修正 ”的 标注 方式 ， 首 先 在 MAT- 
LAB 中 调用 imerode( ) 函 数 通过 形态 学 腐蚀 操作 
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处 理 二 值 化 图 像 ， 对 原始 图 像 进 行 初步 的 籽粒 识 
别 和 定位 ， 详 情 见 1.2.1， 然 后 在 此 基础 上 进行 人 
工 补充 标注 ， 该 方法 对 37,563 个 大 豆 籽 粒 进行 标 
注 时 只 需要 使 用 197 min， 与 人 工 标注 相 比 节约 
T 1592 min, 减少 了 约 96% 的 人 工 工作 量 ， 大 大 
降低 标注 时 间 成 本 和 人 力 成 本 。 


脱粒 种 子 标注 系统 
| 
| Y 


文件 管理 单元 标注 单元 


| 预 标注 + 人 工 修正 
普 


参数 à 
& & & mg x 
in E fg K 
gx m Lj I 

水 环 " 

8s & EE E SK 

& E Xp ms 

Be) | E| | | 位 | | 标 

取 || 粒 || 置 | | 注 


图 8 脱粒 种 子 标注 系统 功能 结构 图 
Fig. 8 Annotation system function structure diagram of 


threshed seed 


该 标注 系统 的 用 户 界面 如 图 9 所 示 。 点 击 
图 9 (a) 中 “ 预 标记 ”按钮 ， 红 色 星 号 预 标记 图 
形 将 直接 显示 在 大 豆 籽 粒 上 ， 从 图 中 可 以 看 出 ， 
预 标记 并 没有 把 所 有 的 籽粒 全 部 标记 成 功 ， 有 部 
分 籽粒 被 漏 标 ， 此 时 需要 人 工 补充 标注 。 点 击 图 
9 (b) 中 “人 工 修正 ”按钮 ， 此 时 左边 区 域 籽 粒 
图 像 中 红色 星 号 标记 被 清空 ， 右 边区 域 不 变 ， 人 
工 参照 右边 区 域 的 图 像 预 标记 情况 ， 通 过 操作 鼠 
标 在 左边 区 域 的 图 像 上 对 没有 标记 到 的 籽粒 进行 
补充 标注 ， 如 图 9 (b)， 人 工 修正 利用 绿色 星 号 
进行 标注 。 标 注 完 成 后 ， 点 击 菜 单 栏 里 的 “ 保 
存 ” 按 钮 ， 标 注 的 籽粒 坐标 被 保存 为 *.mat 
文件 。 


2.3 数据 增强 


为 在 原始 图 像 数 量 有 限 的 情况 下 尽 可 能 多 的 
增加 输入 图 像 的 数量 ， 考 虑 在 每 一 张 原始 图 像 的 
不 同位 置 裁剪 出 9 个 补丁 (patch) patch 的 大 小 
设 定 为 原始 图 像 大 小 的 四 分 之 一 。 设 置 用 于 训练 
和 验证 网 络 的 图 像 数 量 为 239 张 ， 则 patch 数量 
为 2151 个 ， 远 远大 于 原始 图 像 的 数量 。 在 第 4 节 


(b) 人 工 补 充 标 注 


图 9 脱粒 种 子 标注 系统 的 标注 操作 界面 


Fig. 9 Annotation operation interface of threshed seed 


labeling system 


试验 部 分 ， 分别 用 有 无 数据 增强 的 数据 集 对 模型 
进行 训练 ， 并 进行 估 测 性 能 的 对 比 ， 验 证 了 使 用 
数据 增强 的 重要 性 和 必要 性 。 


2.4 数据 集 建立 


按照 6:1:3 的 比例 ， 设 置 训 练 集 、 验 证 集 和 
测试 集 图 像 数 。 大 豆 籽 粒 图 像 的 训练 集 包含 206 
张 ， 共 22,582 个 标记 种 子 ; 验证 集 包 含 33 张 ， 共 
3631 个 标记 种 子 ; 测试 集 包 含 103 张 ， 共 11,350 
个 标记 种 子 。 经 过 数据 增强 ， 用 于 训练 和 验证 网 
络 的 输入 数量 扩充 为 2151 个 patch。 表 1 为 该 数 
据 集 的 详细 信息 。 


3 研究 方法 
3.1 基于 密度 图 的 籽粒 计数 


与 基于 检测 的 方法 相 比 较 ， 基 于 密度 图 的 方 
法 不 用 进行 分 类 、 预 选 框 的 回归 训练 以 及 目标 分 
割 操作 ， 只 需要 训练 网 络 ， 将 特征 图 映射 成 密度 
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R1 大 豆 籽 粒 图 像 数据 集 
Table 1 Soybean seed image dataset 


最 少 籽粒 最 多 籽粒 平均 籽粒 


数据 集 ”数量 / 张 籽粒 数 /个 NU "T BU 
训练 集 206 22,582 67 201 109 
验证 集 33 3631 70 200 110 
测试 集 103 11,350 70 200 110 
总 数 342 37,563 67 201 109 
图 即 可 ， 然 后 直接 根据 密度 图 积分 计算 输入 图 像 


的 籽粒 数 。 
3.2 真 值 密度 图 


为 实现 网 络 模型 从 输入 种 子 图 像 中 佑 测 其 种 
子 密度 图 ， 前 期 需要 对 VGG-T 网络 进行 训练 。 
训练 网 络 需要 提供 高 质量 的 训练 数据 集 ， 基 于 密 
度 图 估计 的 人 群 计数 通常 使 用 高 斯 核 将 标注 点 生 
成 真 值 密度 图 ， 以 真 值 密度 图 为 监督 信和 号， 通过 
网 络 生 成 的 密度 图 计数 求 和 来 实现 计数 ， 以 及 计 
算 损 失 。 因 此 本 节 所 用 的 数据 集 除 2.4 小 节 描 述 
的 种 子 图 像 外 ， 还 包括 每 张 种 子 图 像 对 应 的 真 值 
密度 图 。 

将 高 斯 核 与 种 子 中 心 标注 点 进行 卷 积 操作 , 
可 以 生成 种 子 图 像 对 应 的 真 值 密度 图 。 


pe - Y G (x - x) (1) 


KP, x; 表示 种 子 的 中 心 位 置 ; x 表示 输入 
图 像 中 各 像素 的 位 置 ; NW 表 示 该 图 像 包 含 的 种 子 
TE, ^; G, 是 高 斯 核 ，o 为 扩散 参数 ， 值 由 图 
像 中 种 子 的 大 小 来 确定 。 由 于 种 子 相 对 稀 玻 并 且 
同一 品种 的 种 子 大 小 相差 很 小 ， 因 此 在 高 斯 核 中 
使 用 相同 的 扩展 参数 来 生成 真 值 密度 图 。 种 子 图 
像 的 真 值 密度 图 如 图 10 所 示 。 


3.8 VGG-T 网 络 架 构 


由 于 密度 回归 法 多 用 于 人 群 计数 中， 且 许 
多 工作 均 采 用 VGG16 为 主干 ”YY ， 以 在 许多 测 
试 数据 集 上 获得 良好 的 性 能 。 根 据 在 不 同 数据 集 

上 的 良好 表现 ， 本 研究 同样 以 VGG16 作 为 基础 
网 络 。 近 期 的 目标 计数 方法 大 多 使 用 主干 卷 积 神 


(a) 原 始 图 像 1 (b) 真 值 密度 图 1 


(c) 原 始 图 像 2 
图 10 大 豆 籽 粒 真 值 密度 图 


(d) 真 值 密度 图 2 


Fig. 10 Soybean seed truth density map 


经 网 络 的 最 后 一 层 生 成 估 测 密度 图 。 然 而 由 于 最 
后 一 层 卷 积 层 只 有 单一 尺度 ， 同 时 由 于 多 层 池 化 
操作 ， 使 得 最 后 一 层 的 分 辩 率 大 大 降低 ， 不 利于 
生成 高 精度 的 密度 图 ， 因 此 这 种 网 络 不 能 实现 准 
确 的 佑 测 目 标 数 量 。 为 了 更 好 地 检测 小 物体 ， 本 
研究 结合 了 卷 积 神经 网 络 浅 层 和 深层 的 特征 ， 以 
获得 必要 的 空间 和 语义 信息 。 

本 研究 设计 的 VGG-T 网 络 拥有 以 下 特性 : 
在 Conv4 3 之 后 分 支 了 2 个 特征 数据 流 ， 第 一 个 
数据 流 直接 生成 第 一 个 密度 图 ， 第 二 个 数据 流 经 
过 Conv5_ 3 之 后 ， 生 成 第 二 个 密度 图 ， 将 两 个 密 
度 图 进行 融合 得 到 最 终 的 佑 测 密 度 图 。 图 11 给 
出 了 VGG-T 的 架构 图 。 

该 网 络 的 主干 网 络 为 VGG16。 主 要 特征 提 
RERI: (1) 用 64 个 3X3 、 步 幅 为 1 的 滤波 器 
构建 的 两 个 卷 积 层 (Convl 1, Convl 2) 对 输 
入 图 像 进行 卷 积 ， 输 出 特征 图 的 大 小 保持 不 变 ， 


通道 数量 为 64; 然后 用 2X2、 步 幅 为 2 的 滤波 
器 构建 最 大 池 化 层 (Pooll)， 池 化 层 将 输入 特征 


图 进行 压缩 ， 输 出 大 小 是 输入 大 小 的 /12， 通 道 
数 为 64; (2) 用 128 个 3X3、 步 幅 为 1 的 滤波 器 
构建 两 个 卷 积 层 (Conv2 1, Conv2 2)， 输 出 特 
Roads 通道 数量 为 128; 然后 用 

X2、 步 幅 为 2 的 滤波 器 构建 最 大 池 化 层 
io SE E 
大 小 是 输入 大 小 的 12， 即 是 原始 输入 图 像 的 
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图 11 VGG-T 网 络 架 构图 
Fig. 11. Network architecture of VGG-T 


1/4, iiA y 128; (3) 用 256 个 3X3、 步 幅 为 
1 的 滤波 器 构建 的 三 个 卷 积 层 (Conv3 1, 
Conv3 2, Conv3 3) 对 输入 图 像 进行 卷 积 ， 输 
出 特征 图 的 大 小 保持 不 变 ， 通道 数量 为 256; 然 
后 用 2Xx2、 步 幅 为 2 的 滤波 器 构建 最 大 池 化 层 


表 2 VGG-T 5 VGG 网 络 结构 对 比 
Table 2 Network structure comparison of VGG-T and VGG 


(Pool3)， 池 化 层 将 输入 特征 图 进行 压缩 ， 输 出 
大 小 是 输入 大 小 的 1/2， 即 是 原始 输入 图 像 的 
1/8， 通 道 数 为 256; (4) 用 512 个 3X3、 步 幅 为 
1 的 滤波 器 构建 的 三 个 卷 积 层 (Conv4 1, 


Conv4 2, Conv4 3) 对 输入 图 像 进行 卷 积 ， 通 


道 数量 为 512。 之 后 


则 需要 再 经 过 Pool4, 


4X 


了 2 个 特征 数据 流 。 
VGG-T 与 传统 VGG16 网 络 模 型 的 对 比如 
表 2 所 示 。 相 比 VGG16， 本 研究 用 1X1 的 卷 积 
核 代 替 全 连接 层 ， 因 为 1X1 的 卷 积 核 一 方面 大 
大 降低 要 求解 网 络 参 数 的 个 数 ， 同 时 满足 全 连接 
层 的 作用 ， 另 一 方面 还 能 够 适应 不 同 的 输入 数据 
的 大 小 。 其 中 标 1 的 通道 直接 经 滤波 器 为 1X1 的 
Conv 回归 得 到 一 个 密度 图 (Del); 标 2 的 通道 


Conv3 1l, 


Conv5 2, 


Conv5 3, Conv 回归 得 到 另 一 个 密度 图 (De2 ) ， 


由 于 比 通 道 1 多 


次 池 化 操作 ， 其 得 到 的 密度 图 


尺寸 会 再 减 小 一 半 ， 为 能 够 完成 最 后 一 步 密度 图 


的 融合 ， 该 通道 还 要 经 过 


次 反 卷 


使 用 De = fa 


积 操作 。 


} 和 De = fa 中 分 别 表示 从 


VGG16 VGG-T 
Input (224 X 224 RGB image) Input (RGB image) 
Convl 3 - 64 Conv! 3 - 64 
Convl 3- 64 Convl 3 - 64 
Pooll Pooll 
Conv2 3 - 128 Conv2 3 - 128 
Conv2 3 - 128 Conv2 3- 128 
Pool2 Pool2 
Conv3_3 - 256 Conv3_3 - 256 
Conv3_3 - 256 Conv3_3 - 256 
Conv3_3 - 256 Conv3_3 - 256 
Pool3 Pool3 
Conv4 3 - 512 Conv4 3 - 512 
Conv4 3 - 512 Conv4 3 - 512 
Conv4 3 - 512 Conv4 3 - 512 
Pool4 1 2 
Conv5_3 - 512 Pool4 
Conv5 3- 512 Conv5 3- 512 
Conv5 3 - 512 Conv5 3-512 
Conv 
Pool5 Conv5 3- 512 
FC - 4096 Conv 
FC - 4096 Deconv 
FC - 1000 
Combine 
Soft - max 
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Conv4_3 和 Conv5_3 回归 得 到 的 两 个 密度 图 ， 由 
滤波 器 为 1X1 且 只 有 一 个 输出 的 卷 积 层 回 归 得 
到 。 其 中 ,j 表 示 密 度 图 中 第 j 个 像素 ，d”* 表 示 第 
j 个 像素 的 密度 。 因 为 经 过 最 大 池 化 操作 ，D"“ 和 
D“ 有 不 同 的 尺寸 大 小 : 每 经 过 一 个 最 大 池 化 ， 
输出 尺寸 都 会 变 成 原来 的 1/12，D"“ 经 过 三 次 最 大 
池 化 ， 其 尺寸 是 输入 图 像 的 /18，D“* 经 过 四 次 最 
大 池 化 ， 其 尺寸 是 输入 图 像 的 /116。 相 应 的 ,为 
能 够 完成 网 络 模 型 的 训练 ， 将 真 值 密度 图 下 采样 
到 原 尺寸 的 /8 和 1/16。 使 用 平均 两 个 估 测 密度 
图 的 方式 进行 融合 : 首先 ， 定 义 UP(: ) 为 反 卷 积 
上 采样 过 程 ， 使 用 UP(D”) 来 表示 DALY 
积 层 进行 上 采样 得 到 与 Dp" 相同 尺寸 的 密度 图 ; 
然后 使 用 (D”" + UP (D*))/2 表示 融合 这 两 个 相同 
尺寸 的 估 测 密度 图 ， 以 得 到 最 终 的 估 测 密 
ZKD: 

. D" + UP(D*) 

2 

其 中 ，D*“ 表 示 融 合 后 的 估 测 密度 图 代号 ， 其 
分 辩 率 是 输入 图 像 的 118， 同 时 需要 下 采样 相应 
的 真 值 密度 图 。 

VGG-T 输 入 的 是 图 像 ， 输 出 的 是 种 子 密度 
图 ， 对 密度 图 积分 可 得 出 该 图 包含 的 种 子 总 数 ， 
用 于 计算 种 子 数 的 公式 如 下 : 


(2) 


C"(N)- Y. dr(N) G) 


其 中 ，C*(N) 是 测试 图 像 N 中 包含 的 种 子 数 
量 佑 测 值 ， 粒 ; dy (N) 表 示 通 过 网 络 最 优 模型 获 
得 的 图 像 X 的 每 个 像素 的 佑 测 密度 值 ， 粒 。 


3.4 损失 函数 计算 


均 方 误差 损失 函数 LY 是 典型 的 损失 函数 之 
一 ， 它 能 逐 像素 地 计算 出 训练 网 络 中 生成 的 估 测 
密度 图 与 训练 数据 中 给 出 的 真 值 密度 图 之 间 的 欧 
几 里 德 距 离 ， 函 数 如 公式 (4) 所 示 。 但 是 均 方 
差 损失 不 能 考虑 到 密度 图 之 间 的 局 部 相关 性 ， 因 
此 使 用 结构 点 差异 (Structural Dissimilarity， 
DSSIM) 损失 函数 L?%”** 来 测量 佑 测 密度 图 和 真 


值 密度 图 之 间 的 局 部 模式 一 致 性 ， 见 公式 (5)。 
LPS Wi E 25 RJ AA ADL HE (Structural Similarity, 
SSIM) ， 其 函数 见 公式 (6). 


| & 2 
MSE — : =e 

L "ay MEG: e) cJ (4) 
Low = AY i= ly ssiu (j) (5) 

NA M^ : 

2U; Me, TG, 

SSIM, = — : x 

Hg, T He, +C, 

265.4, +C, (6) 

jig? > jig? tC, 

L(0) — [LMS db ALPSSIM (7) 


其 中 ，@ 是 在 网 络 中 一 组 可 学 习 的 参数 ;，N 
为 训练 图 像 的 数量 ， 个 ; 和 表示 输入 图 像 ;，M 是 
密度 图 中 的 像素 数 ， 个 ; 4 是 平衡 LY 和 ZL 的 
加 权 值 。E 和 G 分 别 表示 佑 测 值 和 真 值 。SSIM,， 
中 的 均值 js uc 和 标准 差 o;、co6、oz6 由 大 小 为 
5x 5 的 高 斯 滤波 器 在 每 个 位 置 / 上 计算 得 到 ， 
C, = (KL), C, = (kL) 为 两 个 常数 ， 避 免除 零 ， 
L= 2 - ! 为 像素 值 范围 ，B 表示 比特 深度 ， 且 
k, = 0.01, k, = 0.03 为 默认 值 。 方 程 中 忽略 了 平 
均值 和 标准 差 对 像素 7 的 依赖 性 。Z(0) 为 真 值 密 
度 图 与 估 测 密度 图 之 间 的 损失 。 

由 于 训练 样本 的 数量 有 限 ， 以 及 梯度 消失 对 
深度 神经 网 络 的 影响 ， 网 络 能 够 同时 学 习 所 有 参 
数 并 不 容易 。 受 到 预 训练 的 启发 ， 分 别 对 通道 1 
和 通道 2 单独 训练 ， 学 习 到 各 层 参数 作为 整体 训 
练 时 2 个 分 支 通道 的 初始 值 。 


3.5 评估 指标 


使 用 平均 绝对 误差 (Mean Absolute Devia- 
tion, MAE) 和 均 方 误差 (Mean-Square Error, 
MSE) 来 评估 本 方法 。MAE 是 一 种 常见 的 用 于 
回归 模型 的 损失 函数 ， 反 映 估 测 值 和 真实 值 之 间 
的 距离 ， 定 义 如 下 : 

MAE =x Èe- al (8) 


其 中 ,NN 为 测试 样本 的 数量 ,个 ; e, 为 被 评 
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估 的 模型 佑 测 的 第 i 张 图 像 中 的 种 子 数 ， 个 ; a, 
为 来 自 被 标记 的 第 i 张 图 像 中 的 实际 种 子 数 ， 个 ; 
MAE 表示 测试 集中 种 子 数 估 测 的 准确 性 ，MA4E 
越 小 ， 说 明 种 子 数 估 测 的 越 准 确 。 
MSE 是 最 常用 的 回归 损失 函数 ， 表 示 种 子 数 
估 测 的 稳定 性 ，MSE 越 大 ， 说 明 舍 测 的 结果 存在 
异常 值 。MSE 定 义 如 下 : 
eo 2 
MSE = 325 一 aj) (9) 


i=l 


4 试验 与 结果 分 析 


试验 在 操作 系统 为 Ubuntu 18.4 64-bits 的 PC 
机 上 进行 ， 其 处 理 器 为 mtel@ Xeon (R) CPU 
E5-2630 v4 @ 2.20GHzx20， 内 存 为 32 GB。 使 用 
PyTorch 深度 学 习 框 架 基 于 NVIDIA 1080Ti GPU 
来 实现 网 络 训练 和 测试 。 


4.1 有 无 数据 增强 计数 对 比 


分 别 使 用 239 张 大 豆 籽 粒 图 像 〈 无 数据 增 
强 ) 和 2151 个 patch (有 数据 增强 ) 作为 训练 数 
据 来 训练 VGG-T 网络 ， 在 训练 网 络 的 过 程 中 ， 
使 用 验证 集 来 评估 和 优化 模型 ， 然 后 用 分 别 得 到 
的 最 优 模 型 来 佑 测 测试 集中 图 像 的 籽粒 数 。 表 3 
为 相关 结果 数据 。 

表 3 VGG-T 在 有 无 数据 增强 下 的 试验 结果 

Table 3 Test results of VGG-T with/without data 


enhancement 
模型 Patch MAE/CBE- KI) MSEC? [7 ) 
0.6 0.6 
VGG-T 
0.2 0.3 


从 结果 数据 可 以 看 出 ， 使 用 数据 增强 的 方法 
生成 的 patch 作为 训练 数据 ， 其 测试 后 得 出 的 
MAE 和 MSE 数 值 都 较 小 ， 由 此 证 明 数 据 增强 这 
一 步骤 对 于 提高 网 络 的 估 测 性 能 非常 重要 而 且 必 
要 。 这 里 使 用 的 随即 裁剪 增加 了 训练 样本 的 多 样 
性 ， 相 当 于 建立 每 个 因子 特征 与 相应 类 别 的 权重 
关系 ， 减 弱 背 景 (或 噪声 ) 因子 的 权重 ， 且 使 模 
型 面 对 缺 失 值 不 敏感 ， 最 终 产 生 更 好 的 学 习 效 


果 ， 增 加 了 模型 的 稳定 性 ， 进 而 提高 网 络 的 估 测 
性 能 。 


4.2 不 同 计数 方法 对 比 


使 用 239 张 原始 大 豆 籽 粒 图 像 和 2151 个 
patch 作为 训练 集 来 分 别 训练 基础 VGG16 网 络 、 
VGG-T 网 络 、ResNet18 网络 和 ResNet18-T 网 络 。 
其 中 ResNet18-T 采 用 与 VGG-T 相 同 的 思想 增加 
一 个 分 支 以 融合 多 尺度 特征 。 同 时 使 用 传统 形态 
学 操作 ， 该 过 程 首 先 利 用 最 大 类 间 方 差 法 对 已 进 
行 亮 度 、 大 小 、 对 比 度 调 节 的 图 像 二 值 化 ， 之 后 
通过 形态 学 梯度 (膨胀 -腐蚀 ) 获得 大 豆 籽 粒 边 
缘 ， 接 着 利用 原始 图 像 减 去 边缘 来 减少 籽粒 之 间 
的 粘连 ， 最 终 使 用 OpenCV 中 的 findCoutours pki 
数 找 到 图 像 中 所 有 大 豆 籽 粒 的 轮廓 并 进行 计数 ， 
但 由 图 5 能 够 看 出 经 形态 学 腐蚀 后 粘连 籽粒 仍然 
未 能 分 离 。 表 4 为 5 种 方法 的 计数 性 能 比较 ， 根 
Ji MAE 4I MSE 的 值 可 以 看 出 ， 当 进行 传统 形态 
学 操作 时 ， 其 对 应 的 误差 均 较 大 ; 对 于 原始 图 
像 ，VGG-T 在 估 测 准确 性 和 稳定 性 上 显著 优 于 
基础 VGG16、ResNet18 和 ResNet18-T; 对 于 增 
强 后 的 patch 数 据 ，VGG-T 的 性 能 与 ResNet18-T 
相当 ， 同 时 优 于 VGG16 和 ResNet18。 综 上 所 述 ， 
试验 结果 显示 了 所 提出 的 两 个 分 支 进 行 数据 特征 
的 融合 能 够 进一步 实现 模型 性 能 的 提升 ， 且 
VGG-T 网 络 在 所 有 数据 中 的 综合 表现 最 好 。 

表 4 5 种 方法 的 计数 性 能 对 比 


Table 4 Comparison on the count performance of 


five methods 


Method Patch MAEI K) WMSE/( 粒 2 图 ”) 
传统 形态 学 操作 无 4.36 7.7 
无 2.1 2.4 
ResNet18 
有 0.7 0.8 
无 2.2 2.9 
VGG16 
有 0.4 0.6 
无 0.7 0.8 
ResNet18-T 
有 0.2 0.3 
无 0.6 0.6 
VGG-T 
有 0.2 0.3 
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4.3 不 同 测试 集 计 数 对 比 


将 测试 集 的 所 有 图 像 按 照 每 张 含 有 籽粒 数 的 
大 小 进行 升序 排列 ， 然 后 将 排 好 的 103 张 测试 图 
像 分 成 7 组 ， 组 1 一 组 7 分 别 包含 183、15、15、 
15、14、14、15 张 籽粒 图 。 用 VGG-T 的 最 优 训 
练 模型 分 别 测试 这 7 组 测试 集 ， 表 5 为 MAE, 
MSF、 真 值 种 子 数 以 及 估 测 种 子 数 。 真 值 种 子 数 
表示 各 组 平均 每 张 图 像 含 有 的 种 子 数 的 真实 值 ， 
佑 测 种 子 数 表示 各 组 平均 每 张 图 像 含 有 的 种 子 数 
的 佑 测 值 。 由 表 中 数据 可 以 看 出 ,组 1 的 M4E 和 
组 4 的 MSE 分 别 达到 最 小 ， 为 0.46 和 0.52。 同 时 
随 着 图 像 中 大 豆 籽 粒 数量 的 不 断 增 加 ,组 1 一 组 7 
Hj MAE 和 MSE 大致 呈 升 高 趋势 ， 但 增加 幅度 均 
较 小 ， 其 中 真 值 和 佑 值 最 多 相差 2 粒 ， 说 明 训练 
得 到 的 最 优 模 型 在 包含 70~-200 个 籽粒 图 像 上 均 
具有 优良 的 计数 性 能 。 
表 5 不 同 测试 集 的 试验 结果 
Table 5 Results of different test sets 


计数 效率 为 116.69 粒 /s。 

本 研究 建立 的 数据 集中 测试 集 共 103 张 大 豆 
籽粒 图 ， 包 含 11,350 粒 种 子 ， 假 设计 数 效率 均 不 
Z, 不 间断 人 工 手 动 计数 需要 大 约 2.52n， 光 电 
种 子 数 粒 仪 则 需要 0.23h 左 右 ， 而 利用 本 方法 耗 
时 大 约 0.027h。 本 方法 针对 人 工 计 数 和 数 粒 仪 分 
别 节省 了 大 约 2.493h 和 0.203h， 所 用 时 间 成 本 
分 别 是 人 工 手动 计数 、 数 粒 仪 时 间 成 本 的 1/94 
和 1/9。 

#6 11,350 粒 大 豆 籽 粒 计数 时 间 成 本 对 比 

Table 6 Cost comparison of 11,350 soybean seed 


counting time 


BER 人 工 计 数 光电 种 子 数 粒 仪 ”VGG-T 
WEE s) 1.25 5.56 116.690 
总 耗 时 人 h 2.52 0.23 0.027 
5 结论 


本 研究 提出 了 一 种 大 豆 籽 粒 快 速 高 精度 计数 
方法 ,构建 VGG-T 模 型 并 结合 籽粒 密度 图 进行 


"m MAEI MSE/ 真 值 种 子 ” 估 值 种 子 
CERTO ORE? + Fn") UBL DL 

组 1 0.46 0.53 71 71 

组 2 0.50 0.59 80 79 

组 3 0.61 0.57 90 90 

组 4 0.58 0.52 100 101 

组 5 0.63 0.55 110 109 

组 6 0.68 0.65 120 118 

组 7 0.73 0.63 200 199 


4.4 时 间 成 本 


目前 人 工 计 数 是 大 豆 育 种 者 使 用 最 为 普遍 的 
计数 方法 ， 同 时 光电 种 子 数 粒 仪 可 轻松 避免 偶然 
性 和 主观 性 导致 的 误差 ， 因 此 将 本 研究 方法 与 光 
电 种 子 数 粒 仪 、 人 工 计 数 方法 进行 计数 时 间 比 
较 ， 结 果 如 表 6 所 示 。 在 采集 原始 图 像 的 同时 ， 
调研 了 三 位 大 豆 育 种 工作 者 三 天 内 计数 种 子 的 情 
况 ， 经 统计 得 出 人 工 计 数 效率 为 100 粒 /80 s, BH 
1.25 粒 /$; 光电 种 子 数 粒 仪 的 计数 速度 大 约 为 
1000 粒 /3min， 即 5.56 粒 /s。 利 用 本 研究 方法 的 


回归 ， 所 得 结论 如 下 : 

(1) 设计 了 大 豆 籽 粒 标注 系统 ， 提 出 了 基于 
数字 图 像 处 理 技术 的 预 标 注 和 人 工 修正 标注 相 结 
合 的 快速 目标 点 标注 方法 。 新 方法 标注 37,563 个 
大 豆 籽 粒 只 需要 花费 197 min， 比 普通 人 工 标 注 
节约 了 1592 min, 减少 了 约 96% 的 人 工 工 作 量 。 

(2) 建立 了 包含 342 张 已 标注 大 豆 籽 粒 图 
像 ， 共 37,563 个 中 心 被 标注 的 公开 可 用 大 豆 籽 粒 
图 像 数据 集 。 

(3) 构建 了 结合 密度 估计 方法 的 基于 VGG-T 
的 大 豆 籽 粒 数 估 测 模型 ， 其 评 佑 指标 在 原 图 和 
patch 情况 下 的 M4E 分 别 为 0.6 和 0.2，MSE 为 0.6 
和 0.3， 相 比 传统 图 像 形 态 学 操作 、ResNet18、 
ResNet18-T 和 VGG16 网 络 ， 本 方法 提高 了 大 豆 
籽粒 计数 的 准确 性 。 同 时 相 比 人 工 计数 和 数 粒 
仪 ， 以 0.027h 完成 测试 集中 11,350 个 大 豆 籽 粒 
的 快速 计数 ， 分 别 节 省 了 大 约 2.493h 和 0.203h。 
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Abstract: In order to count soybean seeds quickly and accurately, improve the speed of seed test and the level of soybean breed- 
ing, a method of soybean seed counting based on VGG-Two (VGG-T) was developed in this research. Firstly, in view of the 
lack of available image dataset in the field of soybean seed counting, a fast target point labeling method of combining pre-anno- 
tation based on digital image processing technology with manual correction annotation was proposed to speed up the establish- 
ment of publicly available soybean seed image dataset with annotation. Only 197 min were taken to mark 37,563 seeds when us- 
ing this method, which saved 1592 min than ordinary manual marking and could reduce 96% of manual workload. At the same 
time, the dataset in this research is the largest annotated data set for soybean seed counting so far. Secondly, a method that com- 
bined the density estimation-based and the convolution neural network (CNN) was developed to accurately estimate the seed 
count from an individual threshed seed image with a single perspective. Thereinto, a CNN architecture consisting of two col- 
umns of the same network structure was used to learn the mapping from the original pixel to the density map. Due to the very 
limited number of training samples and the effect of vanishing gradients on deep neural networks, it is not easy for the network 
to learn all parameters at the same time. Inspired by the success of pre-training, this research pre-trained the CNN in each col- 
umn by directly mapping the output of the fourth convolutional layer to the density map. Then these pre-trained CNNs were 
used to initialize CNNs in these two columns and fine-tune all parameters. Finally, the model was tested, and the effectiveness 
of the algorithm through three comparative experiments (with and without data enhancement, VGG16 and VGG-T, multiple sets 
of test set) was verified, which respectively provided 0.6 and 0.2 mean absolute error (MAE) in the original image and patch 
cases, while mean squared error (MSE) were 0.6 and 0.3. Compared with traditional image morphology operations, ResNet18, 
ResNet18-T and VGG16, the method proposed improving the accuracy of soybean seed counting. In the testset containing soy- 
bean seeds of different densities, the error fluctuation was small, and it still had excellent counting performance. At the same 
time, compared with manual counting and photoelectric seed counter, it saved about 2.493 h and 0.203 h respectively for count- 
ing 11,350 soybean seeds, realizing rapid soybean seeds counting. 


Key words: convolutional neural network; seed counting; seed image; point labeling; density map; VGG-Two; breeding 
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